맨위로가기 타임라인 바로가기

고대역 메모리

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
타임라인 바로가기
목차

1. 개요

고대역 메모리(HBM)는 DDR4 또는 GDDR5보다 작은 폼 팩터와 낮은 전력 소비로 고대역폭을 제공하는 메모리 기술이다. 최대 8개의 DRAM 다이를 적층하여 구성되며, 실리콘 인터포저를 통해 GPU 또는 CPU에 연결된다. HBM은 대역폭이 높고 전력 소비가 적지만, 생산 비용이 높아 주로 고성능 GPU 및 FPGA 가속기에 사용된다. HBM, HBM2, HBM2E, HBM3, HBM3E, HBM4 등 여러 세대가 있으며, 삼성전자, SK하이닉스, 마이크론 테크놀로지 등 한국 기업이 기술 개발에 참여했다.

더 읽어볼만한 페이지

  • 대만의 발명품 - 버블티
    버블티는 1980년대 후반 대만에서 시작되어 전 세계적으로 인기를 얻은 타피오카 펄이 들어간 차 음료로, 다양한 차 종류를 기반으로 우유, 과일 등 여러 토핑과 함께 제공되지만 높은 설탕 함량과 타피오카 펄 안전성 문제가 제기되기도 한다.
  • 대만의 발명품 - 14 nm 공정
    14 nm 공정은 14 나노미터 크기의 트랜지스터를 집적하는 반도체 제조 기술로, FinFET, 멀티 패터닝, 저유전율 절연막 기술을 특징으로 하며, 삼성전자, TSMC, 인텔 등 주요 반도체 제조사들이 각기 다른 세부 공정 노드를 개발하여 상용화했다.
  • AMD 기술 - AMD 크로스파이어X
    AMD 크로스파이어X는 AMD의 멀티 GPU 기술로, 여러 개의 그래픽 카드를 함께 사용하여 그래픽 성능을 향상시키며, 엔비디아의 SLI와 경쟁하고 다양한 렌더링 방식을 지원하지만, 전체 화면 모드에서만 작동하는 단점도 존재한다.
  • AMD 기술 - X86-64
    X86-64는 x86 아키텍처를 64비트로 확장한 명령어 집합 아키텍처로, 64비트 정수 연산, 확장된 레지스터, 넓은 가상 주소 공간을 지원하며 기존 32비트 x86 코드와 하위 호환성을 유지하는 특징을 가진다.
  • 대한민국의 발명품 - 훈민정음
    훈민정음은 1443년에 세종에 의해 창제된 한국의 고유 문자로, 한글의 창제목적, 원리, 사용법 등을 담은 훈민정음 해례본을 통해 1446년에 반포되었으며, 과학적이고 독창적인 문자로 평가받는다.
  • 대한민국의 발명품 - 14 nm 공정
    14 nm 공정은 14 나노미터 크기의 트랜지스터를 집적하는 반도체 제조 기술로, FinFET, 멀티 패터닝, 저유전율 절연막 기술을 특징으로 하며, 삼성전자, TSMC, 인텔 등 주요 반도체 제조사들이 각기 다른 세부 공정 노드를 개발하여 상용화했다.
고대역 메모리
개요
유형컴퓨터 메모리
설명고성능 프로세서를 위한 고대역폭 메모리 인터페이스
상세 정보
개발AMD
하이니
사용 분야그래픽 카드
고성능 컴퓨팅
특징3차원 적층
광역 인터페이스
종류HBM2
HBM2E
HBM3
역사 및 개발
초기 개발AMD와 하이닉스에 의해 개발됨
상용화2015년 AMD의 라데온 R9 Fury X에 처음 사용됨
주요 특징넓은 인터페이스를 통한 높은 대역폭 제공
3D 스택 기술 사용
기술적 특징
인터페이스광역 인터페이스 사용
스택 기술3D 스택 기술을 통해 메모리 칩을 수직으로 쌓아 올림
대역폭기존 메모리 기술 대비 월등히 높은 대역폭 제공
활용 분야
그래픽 카드고성능 그래픽 카드에서 빠른 데이터 처리 속도를 위해 사용
고성능 컴퓨팅서버 및 워크스테이션에서 대용량 데이터 처리 및 연산에 사용
표준
관련 표준JEDEC의 JESD235A 표준

2. 기술

HBM은 여러 개의 DRAM 다이를 수직으로 쌓아 올려 실리콘관통전극(TSV)과 마이크로범프를 통해 상호 연결하는 기술을 사용한다. 이를 통해 DDR4 또는 GDDR5보다 메모리 대역폭을 크게 향상시키고 전력 소비를 줄일 수 있으며, 폼 팩터는 훨씬 작다.[7]

HBM 메모리 버스는 DDR4나 GDDR5 등 다른 DRAM 메모리에 비해 매우 넓다. 4개의 DRAM 다이(4-Hi)로 구성된 HBM 스택은 다이당 2개의 128비트 채널을 가지고 있어 총 8개의 채널과 총 1024 비트의 너비를 갖는다. 따라서 4개의 4-Hi HBM 스택을 갖춘 그래픽 카드/GPU는 4096 비트 너비의 메모리 버스를 갖게 된다. GDDR 메모리의 버스 너비는 512 비트 메모리 인터페이스를 갖춘 그래픽 카드의 경우 16 채널에 32 비트이다.[78] HBM은 패키지 당 최대 4GB를 지원한다.

DDR4, GDDR5 대비 메모리에 대한 많은 수의 연결로 인해 GPU(또는 다른 프로세서)에 대한 새로운 HBM 메모리 연결 방식이 필요했다.[79] AMD와 엔비디아는 모두 인터포저(interposer)라는 이름의 실리콘 칩을 사용하여 메모리와 GPU를 연결한다. 인터포저는 메모리와 프로세서가 물리적으로 가깝게 위치시키는 것을 요구함으로써 메모리 경로를 감소시킨다는 장점이 있다. 그러나 반도체 장치 제조는 인쇄 회로 기판 제조에 비해 상당히 더 비싸기 때문에 최종 제품의 가격이 증가한다.

유형출시핀당 최대 데이터 속도
(Gbit/s)		스택스택당
최대 용량
(다이 수 × 다이 용량 = GByte)		최대 데이터 속도
(GByte/s)
HBM 12013년 10월18×
128 비트		4×1 = 4128
HBM 22016년 1월2.48×1 = 8307
HBM 2E2019년 8월3.612×2 = 24461
HBM 32022년 1월6.416×
64 비트		12×2 = 24819
HBM 3E2023년 5월9.816×3 = 481229
HBM 42026년6.432×
64 비트		16×4 = 641638



AMD 피지, HBM을 사용하는 최초의 GPU

2. 1. 인터페이스

HBM은 DDR4 또는 GDDR5보다 훨씬 작은 폼 팩터를 가지면서도 전력 소비는 적고 대역폭은 더 높다.[76] 이는 최대 8개의 DRAM 다이와 버퍼 회로 및 테스트 로직을 포함할 수 있는 베이스 다이를 쌓아서 달성된다.[8] 스택은 종종 실리콘 인터포저와 같은 기판을 통해 GPU 또는 CPU의 메모리 컨트롤러에 연결된다.[9][10] 또는 메모리 다이를 CPU나 GPU 칩에 직접 쌓을 수도 있다. 스택 내에서 다이는 실리콘 관통 전극(TSV) 및 마이크로범프로 수직으로 상호 연결된다. HBM 기술은 원칙적으로 마이크론 테크놀로지에서 개발한 하이브리드 메모리 큐브(HMC) 인터페이스와 유사하지만 호환되지는 않는다.[11]

HBM 메모리 버스는 DDR4나 GDDR5 등 다른 DRAM 메모리에 비해 매우 넓다. 4개의 DRAM 다이(4-Hi)로 구성된 HBM 스택은 다이당 2개의 128비트 채널을 가지고 있어 총 8개의 채널과 총 1024 비트의 너비를 갖는다. 4개의 4-Hi HBM 스택을 갖춘 그래픽 카드/GPU는 4096 비트 너비의 메모리 버스를 갖게 된다. 이에 비해 GDDR 메모리의 버스 너비는 32 비트이며, 512 비트 메모리 인터페이스를 갖춘 그래픽 카드의 경우 16 채널을 갖는다.[12] HBM은 패키지당 최대 4 GB를 지원한다.

DDR4 또는 GDDR5에 비해 메모리에 연결되는 수가 많아지면서 HBM 메모리를 GPU (또는 다른 프로세서)에 연결하는 새로운 방법이 필요했다.[13] AMD와 엔비디아는 모두 메모리와 GPU를 연결하기 위해 맞춤형 실리콘 칩인 ''인터포저''를 사용했다. 이 인터포저는 메모리와 프로세서가 물리적으로 가까워야 하는 추가적인 장점을 가지고 있어 메모리 경로를 줄인다. 그러나 반도체 소자 제조는 인쇄 회로 기판 제조보다 훨씬 더 비싸기 때문에 최종 제품의 비용이 증가한다.

고대역 메모리를 사용하는 그래픽 카드의 단면도. 실리콘 관통 전극(TSV)을 참조.


HBM DRAM은 분산 인터페이스를 통해 호스트 컴퓨트 다이에 긴밀하게 연결된다. 인터페이스는 독립적인 채널로 나뉜다. 채널은 서로 완전히 독립적이며 반드시 서로 동기화될 필요는 없다. HBM DRAM은 고속, 저전력 작동을 달성하기 위해 광대역 인터페이스 아키텍처를 사용한다. HBM DRAM은 500 MHz 차동 클럭 CK_t / CK_c를 사용한다(여기서 "_t"는 차동 쌍의 "true" 또는 "positive" 구성 요소를 나타내고 "_c"는 "complementary" 구성 요소를 나타낸다). 명령은 CK_t, CK_c의 상승 에지에서 등록된다. 각 채널 인터페이스는 이중 데이터 속도(DDR)로 작동하는 128 비트 데이터 버스를 유지한다. HBM은 핀당 1 GT/s의 전송 속도(1 비트 전송)를 지원하여 전체 패키지 대역폭이 128 GB/s이다.[14]

유형출시핀당 최대 데이터 속도
(Gbit/s)		스택스택당
최대 용량
(다이 수 × 다이 용량 = GByte)		최대 데이터 속도
(GByte/s)
HBM 12013년 10월18×
128 비트		4×1 = 4128
HBM 22016년 1월2.48×1 = 8307
HBM 2E2019년 8월3.612×2 = 24461
HBM 32022년 1월6.416×
64 비트		12×2 = 24819
HBM 3E2023년 5월9.816×3 = 481229
HBM 42026년6.432×
64 비트		16×4 = 641638


2. 1. 1. HBM2

HBM2는 HBM의 2세대 기술로, 스택당 최대 8개의 다이를 지원하며 핀 전송 속도를 최대 2 GT/s로 두 배 향상시켰다. 1024비트 폭의 액세스를 유지하면서 HBM2는 패키지당 256 GB/s의 메모리 대역폭을 달성할 수 있다. HBM2 규격은 패키지당 최대 8 GB를 허용한다. HBM2는 가상 현실과 같이 성능에 민감한 소비자 응용 분야에 특히 유용할 것으로 예측된다.[15]

2016년 1월 19일, 삼성전자는 최대 8 GB/스택의 HBM2의 초기 대량 생산을 발표했다.[16][17] SK 하이닉스 또한 2016년 8월에 4 GB 스택의 가용성을 발표했다.[18]

2. 1. 2. HBM2E

2018년 말, JEDEC는 HBM2 사양을 업데이트하여 대역폭과 용량을 늘렸다고 발표했다.[19] 공식 사양에서는 스택당 최대 307GB/s (유효 데이터 전송률 2.5Tbit/s)를 지원했으며, 이미 이 속도로 작동하는 제품이 출시되어 있었다. 또한, 업데이트를 통해 12단 (12개의 다이) 스택을 지원하여 스택당 최대 24GB의 용량을 구현할 수 있게 되었다.

2019년 3월 20일, 삼성은 스택당 8개의 다이, 3.2GT/s의 전송 속도를 지원하는 Flashbolt HBM2E를 발표하여 총 16GB 및 스택당 410GB/s를 제공했다.[20]

2019년 8월 12일, SK하이닉스는 스택당 8개의 다이, 3.6GT/s의 전송 속도를 지원하는 HBM2E를 발표하여 총 16GB 및 스택당 460GB/s를 제공했다.[21][22] 2020년 7월 2일, SK하이닉스는 양산에 돌입했다고 발표했다.[23]

2019년 10월, 삼성은 12단 HBM2E를 발표했다.[24]

2. 1. 3. HBM3

마이크론은 2020년 말 HBM2E 표준 업데이트와 함께 차세대 표준인 HBMnext(이후 HBM3로 명명)를 공개했다. HBM3는 HBM2에서 큰 발전을 이루었으며 HBM2E를 대체할 예정이었다. 새로운 VRAM은 2022년 4분기에 시장에 출시될 예정이었으며, 새로운 아키텍처가 도입될 가능성이 높았다.[25][26][27][28]

유출된 정보에 따르면 HBM3의 성능은 업데이트된 HBM2E 표준과 유사할 것으로 보이며, 주로 데이터 센터 GPU에 사용될 가능성이 높다.[25][26][27][28]

SK하이닉스는 2021년 중반 HBM3 표준의 일부 사양을 공개했다. I/O 속도는 5.2 Gbit/s, 패키지당 대역폭은 665 GB/s이며, 최대 16단 적층 2.5D 및 3D 솔루션을 지원한다.[29][30]

2021년 10월 20일, SK하이닉스는 JEDEC 표준 확정 전에 HBM3 메모리 장치 개발을 완료했다고 발표했다. SK하이닉스에 따르면 이 메모리는 핀당 6.4 Gbps로 작동하여 JEDEC 표준 HBM2E(핀당 3.2 Gbps)보다 두 배, 자사의 3.6 Gbps/핀 HBM2E보다 78% 더 빠르다. 단일 HBM3 스택은 최대 819 GB/s 대역폭을 제공할 수 있다. HBM3의 기본 버스 폭은 1024비트로 유지된다. SK하이닉스는 16 GB 및 24 GB 용량의 메모리를 제공할 예정이며, 각각 8단 및 12단 스택에 해당한다. 스택은 30μm 두께의 8개 또는 12개의 16 Gb DRAM으로 구성되며, TSV(Through Silicon Vias)를 사용하여 상호 연결된다.[31][32][33]

AnandTech에 따르면 SK하이닉스 1세대 HBM3 메모리는 최신 HBM2E 메모리와 동일한 밀도를 가지므로, 총 메모리 용량을 늘리려면 8단 스택에서 12단 다이/레이어를 사용해야 한다.[31] Tom's Hardware에 따르면 고성능 컴퓨팅 GPU 또는 FPGA는 일반적으로 4개 또는 6개의 HBM 스택을 사용하므로, SK하이닉스의 HBM3 24 GB 스택은 각각 3.2 TB/s 또는 4.9 TB/s의 메모리 대역폭을 제공한다. SK하이닉스의 HBM3 칩은 HBM2 및 HBM2E 칩과 달리 사각형 모양이다.[32] The Register에 따르면 JEDEC가 아직 HBM3 표준을 개발하지 않았기 때문에 SK하이닉스는 설계를 향후 더 빠르고 발전된 설계로 개조해야 할 수도 있다.[33]

JEDEC는 2022년 1월 27일에 HBM3 표준을 공식 발표했다.[34] HBM2e의 128비트 8개 채널에서 HBM3는 64비트 16개 채널로 메모리 채널 수가 두 배로 증가했지만, 인터페이스의 총 데이터 핀 수는 1024개로 유지되었다.[35]

2022년 6월, SK하이닉스는 2022년 3분기에 출시될 예정인 엔비디아의 H100 GPU에 사용될 HBM3 메모리의 양산을 시작했다고 발표했다. 이 메모리는 H100에 "최대 819 GB/s"의 메모리 대역폭을 제공한다.[36]

2022년 8월, 엔비디아는 "호퍼(Hopper)" H100 GPU가 80 GB RAM과 3 TB/s 메모리 대역폭(사이트당 16 GB 및 600 GB/s)을 제공하는 5개의 활성 HBM3 사이트(온보드 6개 중)와 함께 출시될 것이라고 발표했다.[37]

2. 1. 4. HBM3E

HBM3E는 HBM3의 성능을 향상시킨 버전으로, 더 빠른 데이터 처리 속도와 높은 전력 효율성을 제공한다.

기업발표일데이터 처리 속도스택당 대역폭추가 정보
SK하이닉스2023년 5월 30일8 Gbps/핀 (HBM3 대비 25% 빠름)1 TB/s (HBM3의 819.2 GB/s에서 증가)2024년 상반기 생산 예정[38]
마이크론 테크놀로지2023년 7월 26일9.6 Gbps/핀 (HBM3 대비 50% 빠름)1.2 TB/s8단 큐브당 24 GB 저장, 2024년 36 GB 용량 12단 큐브 출시 예정[39], 2024년 2월 26일 양산 발표[43]
삼성전자2023년 10월 20일최대 9.8 Gbps-HBM3E "Shinebolt"[42]
엔비디아2023년 8월--GH200 Grace Hopper 슈퍼칩에 HBM3e 141 GB (144 GiB 물리적) 사용 (6144비트 버스), HBM3 버전보다 메모리 대역폭 50% 높고 용량 75% 높음[40], 2024년 3월 18일 HBM3E 메모리를 사용하는 블랙웰 시리즈 GPU 발표[44]
SK하이닉스2024년 3월 19일--HBM3E 메모리 양산 발표[45], 2024년 9월 12단 HBM3E 메모리[46] 양산 발표, 11월에는 16단 버전 발표[47]


2. 1. 5. HBM-PIM

2021년 2월, 삼성전자는 메모리 내에 AI 연산 기능을 통합한 프로세싱-인-메모리(PIM) 기술을 적용한 HBM 개발을 발표했다. 각 메모리 뱅크 내에 DRAM에 최적화된 AI 엔진을 탑재하여 병렬 처리를 가능하게 하고 데이터 이동을 최소화하여 대규모 데이터 처리를 향상시킨다. 삼성전자는 이를 통해 시스템 성능을 두 배로 향상시키고, 시스템의 다른 부분에 대한 하드웨어 또는 소프트웨어 변경 없이 에너지 소비를 70% 이상 줄일 수 있다고 주장한다.[48]

2. 1. 6. HBM4

HBM4영어는 2024년에 JEDEC에서 발표한 최신 규격이다.[49] 핀당 데이터 속도는 6.4Gbps/핀(HBM3 수준)으로 낮췄지만, 스택당 2048비트 인터페이스를 사용하여(이전 세대보다 두 배) HBM3E보다 더 큰(1.6TB/s) 스택당 데이터 속도를 달성한다. 또한, 4GB 레이어를 허용하여 16레이어 구성에서 64GB를 제공한다.[49]

3. 역사



고대역 메모리(HBM)는 컴퓨터 메모리의 전력 사용량과 폼 팩터 문제를 해결하기 위해 개발되었다.

그래픽 카드 설계에서 기존의 GDDR5는 칩 자체의 전용 면적 외에, 메모리와 프로세서를 광대역 버스로 연결해야 했기 때문에 구현 면적이 증가했다. 또한, 프로세서와의 물리적 거리가 멀어져 동작 전압을 높여야 했고, 이는 소비 전력 증가로 이어졌다. 결과적으로 메모리의 소비 전력이 GPU 성능 향상의 병목 현상이 될 것으로 예상되었다.[65]

HBM 기술은 메모리 칩을 수직으로 쌓아 광대역 버스로 프로세서와 연결하여 이러한 문제를 해결할 수 있을 것으로 기대되었다.[65] 그러나 높은 비용 문제로 인해, 2015년부터 2019년까지 Radeon의 하이엔드 모델에 탑재된 후에는 NVIDIA Tesla나 Radeon Instinct와 같은 고가의 GPGPU용 GPU 및 FPGA 가속기에서만 채택되었다.[66] 2024년 현재 소비자용 GPU에는 GDDR6 및 GDDR6X가 널리 보급되어 있다.[67][68]

2016년 6월, 인텔은 마이크론의 HBM 버전인 8개의 HCDRAM 스택을 갖춘 제온 파이 프로세서 제품군을 출시했다. 2016년 8월 핫 칩스에서 삼성과 하이닉스는 차세대 HBM 메모리 기술을 발표했다.[60][61] 두 회사 모두 밀도 증가, 대역폭 증가 및 전력 소비 감소를 기대하는 고성능 제품을 발표했다. 삼성은 또한 대량 시장을 목표로 개발 중인 HBM의 저가형 버전을 발표했다. 버퍼 다이를 제거하고 TSV의 수를 줄이면 전체 대역폭 감소(200GB/s)를 통해 비용이 절감된다.

2022년 OpenAI가 ChatGPT를 출시한 이후, 기업 간 생성 AI 개발 경쟁이 심화되면서 HBM의 후속 규격인 HBM3 등의 수요가 급증하고 있다.[69] 2024년에는 HBM4가 발표되었다.[70]

3. 1. 배경



고대역 메모리(HBM)는 2008년 AMD에서 컴퓨터 메모리의 전력 사용량과 폼 팩터 증가 문제를 해결하기 위해 개발을 시작했다.

다이 적층 메모리는 처음에 플래시 메모리 산업에서 상용화되었다. 도시바는 2007년 4월에 8개의 적층 다이가 있는 낸드 플래시 메모리 칩을 출시했고,[50] 그 뒤를 이어 SK하이닉스는 2007년 9월에 24개의 적층 다이가 있는 낸드 플래시 칩을 출시했다.[51]

관통 실리콘 비아(TSV) 기술을 사용한 3D 적층 램(RAM)은 엘피다 메모리에 의해 상용화되었는데, 엘피다는 2009년 9월에 최초의 8 GB DRAM 칩 (4개의 DDR3 SDRAM 다이로 적층)을 개발하여 2011년 6월에 출시했다. 2011년, SK하이닉스는 TSV 기술을 사용하여 16 GB DDR3 메모리 (40nm급)를 출시했고,[55] 삼성전자는 9월에 TSV 기반의 3D 적층 32 GB DDR3 (30nm급)를 출시했으며, 이후 삼성과 마이크론 테크놀로지는 10월에 TSV 기반의 하이브리드 메모리 큐브(HMC) 기술을 발표했다.[52]

JEDEC는 수년간의 연구 끝에 단일 데이터 속도 클럭을 사용하는 128비트 채널 4개가 특징인 HBM의 전신인 Wide IO 메모리에 대한 JESD229 표준을 2011년 12월에 처음 발표했다.[53] 첫 번째 HBM 표준 JESD235는 2013년 10월에 발표되었다.

3. 2. 개발

고대역 메모리(HBM) 개발은 2008년 AMD에서 컴퓨터 메모리의 전력 사용량과 폼 팩터 증가 문제를 해결하기 위해 시작되었다.[54] AMD는 선임 펠로우 브라이언 블랙(Bryan Black)이 이끄는 팀과 함께 다이 스태킹 문제를 해결하기 위한 절차를 개발했다. AMD는 HBM 개발을 위해 메모리 업계 파트너인 SK하이닉스,[54] 인터포저 업계 파트너 UMC, 패키징 업계 파트너 (Amkor Technology와 ASE)와 협력했다.[54]

2013년 SK하이닉스는 최초의 HBM 메모리 칩을 생산했다.[55] HBM은 2010년 AMD와 SK하이닉스의 제안에 따라 2013년 10월 JEDEC에 의해 산업 표준 JESD235로 채택되었다.[5] 2015년 한국 이천에 있는 하이닉스 공장에서 대량 생산이 시작되었다.

HBM을 활용한 최초의 GPU는 2015년 6월에 출시된 AMD 피지(AMD Fiji)로, AMD 라데온 R9 퓨리 X에 탑재되었다.[3][56][57]

2016년 1월, 삼성전자는 HBM2의 초기 대량 생산을 시작했다.[16][17] 같은 달, HBM2는 JEDEC에 의해 표준 JESD235a로 승인되었다.[6] HBM2를 활용한 최초의 GPU 칩은 2016년 4월에 공식 발표된 엔비디아 테슬라 P100이다.[58][59]

2022년 3월 22일, 엔비디아는 HBM3을 활용한 세계 최초의 GPU인 엔비디아 호퍼 H100 GPU를 발표했다.[62]

4. 한국 기업의 역할

SK하이닉스는 2011년 TSV 기술을 사용한 16 GB DDR3 메모리 (40nm급)를 출시했다.[55] 2013년 10월 JEDEC가 첫 HBM 표준 JESD235를 발표했고, SK하이닉스는 같은 해 세계 최초로 HBM 메모리 칩을 생산했다.

삼성전자는 2021년 2월, 프로세싱-인-메모리(PIM) 기술을 적용한 HBM을 개발했다고 발표했다. 이 메모리는 메모리 내에 AI 연산 기능을 통합하여 대규모 데이터 처리를 향상시킨다. 각 메모리 뱅크 내에 DRAM에 최적화된 AI 엔진을 탑재하여 병렬 처리를 가능하게 하고 데이터 이동을 최소화한다. 삼성전자는 이를 통해 시스템 성능을 두 배로 향상시키고, 하드웨어나 소프트웨어 변경 없이 에너지 소비를 70% 이상 줄일 수 있다고 주장한다.[48]

2022년 OpenAI가 ChatGPT를 출시한 이후, 기업 간 생성 AI 개발 경쟁이 시작되면서 HBM3 등 HBM 계열 메모리의 수요가 급증하고 있다.[69]

5. 비판

HBM은 DDR4 또는 GDDR5보다 훨씬 작은 폼 팩터를 가지면서도 더 높은 대역폭과 낮은 전력 소비를 달성한다.[76] 그러나 HBM은 몇 가지 단점을 가지고 있다.

HBM을 GPU(또는 다른 프로세서)에 연결하려면 인터포저(interposer)라는 실리콘 칩을 사용해야 한다.[79] 인터포저는 메모리와 프로세서를 물리적으로 가깝게 배치하여 메모리 경로를 줄이는 장점이 있지만, 반도체 장치 제조는 인쇄 회로 기판 제조보다 훨씬 비싸기 때문에 최종 제품 가격이 상승한다.[79]

이러한 높은 비용 때문에, HBM은 주로 고성능 컴퓨팅, 데이터 센터, GPGPU용 GPU 및 FPGA 가속기 등 특수한 분야에 제한적으로 사용되었다.[66] 예를 들어, 2015년부터 2019년까지 Radeon의 하이엔드 모델에 탑재된 후, NVIDIA Tesla나 Radeon Instinct와 같은 매우 고가 제품에만 채용되었다.[66] 2024년 현재, 게임기를 포함한 소비자용 GPU에는 GDDR6 및 GDDR6X가 널리 보급되어 있다.[67][68]

하지만, OpenAI가 ChatGPT를 출시한 이후, 기업 간 생성 AI 개발 경쟁이 시작되면서 HBM의 후속 규격인 HBM3 등의 수요가 급증하고 있다.[69]

참조

[1] 웹사이트 Intel Confirms On-Package HBM Memory Support for Sapphire Rapids https://www.tomshard[...] 2020-12-30
[2] 간행물 ISSCC 2014 Trends http://isscc.org/doc[...]
[3] 뉴스 The AMD Radeon R9 Fury X Review http://www.anandtech[...] Anandtech 2015-07-02
[4] 뉴스 Future Nvidia 'Pascal' GPUs Pack 3D Memory, Homegrown Interconnect http://www.enterpris[...] EnterpriseTech 2014-03-25
[5] 문서 High Bandwidth Memory (HBM) DRAM (JESD235) http://www.jedec.org[...] JEDEC 2013-10
[6] 웹사이트 JESD235a: High Bandwidth Memory 2 https://www.jedec.or[...] 2016-01-12
[7] 문서 HBM: Memory Solution for Bandwidth-Hungry Processors http://www.setphaser[...] Joonyoung Kim and Younsu Kim, SK Hynix // Hot Chips 26, August 2014
[8] 논문 A 1.2 V 20 nm 307 GB/s HBM DRAM With At-Speed Wafer-Level IO Test Scheme and Adaptive Refresh Considering Temperature Distribution https://ieeexplore.i[...] 2017-01
[9] 웹사이트 What's Next for High Bandwidth Memory https://semiengineer[...] 2019-12-17
[10] 웹사이트 Interposers https://semiengineer[...]
[11] 웹사이트 Where Are DRAM Interfaces Headed? http://www.eetimes.c[...] EETimes 2014-04-18
[12] 문서 Highlights of the HighBandwidth Memory (HBM) Standard http://www.cs.utah.e[...] Mike O’Connor, Sr. Research Scientist, NVidia // The Memory Forum – June 14, 2014
[13] 뉴스 AMD Dives Deep On High Bandwidth Memory – What Will HBM Bring to AMD? http://www.anandtech[...] Anandtech 2015-05-19
[14] 웹사이트 High-Bandwidth Memory (HBM) https://www.amd.com/[...] AMD 2015-01-01
[15] 웹사이트 NVIDIA Unveils Pascal GPU: 16GB of memory, 1TB/s Bandwidth http://vrworld.com/2[...] 2015-11-16
[16] 웹사이트 Samsung Begins Mass Producing World's Fastest DRAM – Based on Newest High Bandwidth Memory (HBM) Interface https://news.samsung[...]
[17] 웹사이트 Samsung announces mass production of next-generation HBM2 memory – ExtremeTech http://www.extremete[...] 2016-01-19
[18] 뉴스 SK Hynix Adds HBM2 to Catalog http://www.anandtech[...] Anandtech 2016-08-01
[19] 보도자료 JEDEC Updates Groundbreaking High Bandwidth Memory (HBM) Standard https://www.jedec.or[...] JEDEC 2018-12-17
[20] 웹사이트 Samsung Electronics Introduces New High Bandwidth Memory Technology Tailored to Data Centers, Graphic Applications, and AI {{!}} Samsung Semiconductor Global Website https://www.samsung.[...]
[21] 웹사이트 SK Hynix Develops World's Fastest High Bandwidth Memory, HBM2E https://www.skhynix.[...] 2019-08-12
[22] 웹사이트 SK Hynix Announces its HBM2E Memory Products, 460 GB/S and 16GB per Stack https://www.techpowe[...]
[23] 웹사이트 SK hynix Starts Mass-Production of High-Speed DRAM, "HBM2E" https://news.skhynix[...] 2020-07-02
[24] 웹사이트 https://www.tomshard[...]
[25] 웹사이트 Micron reveals HBMnext, a successor to HBM2e https://videocardz.c[...] 2020-08-14
[26] 웹사이트 Micron Announces HBMnext as Eventual Replacement for HBM2e in High-End GPUs https://amp.hothardw[...] 2020-08-14
[27] 웹사이트 Micron Introduces HBMnext, GDDR6X, Confirms RTX 3090 https://www.extremet[...] 2020-08-14
[28] 웹사이트 Micron unveils HBMnext, the successor to HBM2e for next-next-gen GPUs https://www.tweaktow[...] 2020-08-14
[29] 웹사이트 SK Hynix expects HBM3 memory with 665 GB/s bandwidth https://videocardz.c[...]
[30] 웹사이트 HBM3 to Top 665 GBPS Bandwidth per Chip, SK Hynix Says https://www.tomshard[...] 2021-06-09
[31] 웹사이트 SK Hynix Announces Its First HBM3 Memory: 24GB Stacks, Clocked at up to 6.4Gbps https://www.anandtec[...] 2021-10-20
[32] 웹사이트 SK Hynix Develops HBM3 DRAMs: 24GB at 6.4 GT/s over a 1024-Bit Bus https://www.tomshard[...] 2021-10-20
[33] 웹사이트 SK hynix rolls out 819GB/s HBM3 DRAM https://www.theregis[...] 2021-10-20
[34] 보도자료 JEDEC Publishes HBM3 Update to High Bandwidth Memory (HBM) Standard https://www.jedec.or[...] 2022-01-27
[35] 뉴스 The HBM3 roadmap is just getting started https://www.nextplat[...] 2022-04-06
[36] 웹사이트 SK hynix to Supply Industry's First HBM3 DRAM to NVIDIA https://news.skhynix[...] 2022-06-08
[37] 웹사이트 NVIDIA H100 Hopper Details at HC34 as it Waits for Next-Gen CPUs https://www.servethe[...] 2022-08-22
[38] 웹사이트 SK hynix Enters Industry's First Compatibility Validation Process for 1bnm DDR5 Server DRAM https://news.skhynix[...] 2023-05-30
[39] 웹사이트 HBM3 Memory HBM3 Gen2 https://www.micron.c[...] 2023-07-26
[40] 웹사이트 NVIDIA Unveils Updated GH200 'Grace Hopper' Superchip with HBM3e Memory, Shipping in Q2'2024 https://www.anandtec[...] 2023-08-08
[41] 웹사이트 Samsung To Launch HBM3P Memory, Codenamed "Snowbolt" With Up To 5 TB/s {{sic|nolink=y|reason=error in source|Bandwith}} Per Stack https://wccftech.com[...] 2023-05-04
[42] 웹사이트 Samsung Electronics Holds Memory Tech Day 2023 Unveiling New Innovations to Lead the Hyperscale AI Era https://news.samsung[...]
[43] 웹사이트 Micron Commences Volume Production of Industry-Leading HBM3E Solution to Accelerate the Growth of AI https://investors.mi[...] 2024-02-26
[44] 웹사이트 Nvidia's next-gen AI GPU is 4X faster than Hopper: Blackwell B200 GPU delivers up to 20 petaflops of compute and other massive improvements https://www.tomshard[...] 2024-03-18
[45] URL https://news.skhynix[...]
[46] URL https://news.skhynix[...]
[47] URL https://pulse.mk.co.[...]
[48] 웹사이트 Samsung Develops Industry's First High Bandwidth Memory with AI Processing Power https://news.samsung[...]
[49] URL https://www.jedec.or[...]
[50] 뉴스 TOSHIBA COMMERCIALIZES INDUSTRY'S HIGHEST CAPACITY EMBEDDED NAND FLASH MEMORY FOR MOBILE CONSUMER PRODUCTS http://www.toshiba.c[...] Toshiba 2007-04-17
[51] 뉴스 Hynix Surprises NAND Chip Industry https://www.koreatim[...] Korea Times 2007-09-05
[52] 서적 Three-Dimensional Integration of Semiconductors: Processing, Materials, and Applications Springer 2015
[53] 웹사이트 WIDE I/O SINGLE DATA RATE (WIDE I/O SDR) standard JESD229 https://www.jedec.or[...]
[54] Youtube High-Bandwidth Memory (HBM) from AMD: Making Beautiful Memory https://www.youtube.[...] AMD
[55] 웹사이트 History: 2010s https://www.skhynix.[...]
[56] 뉴스 AMD HBM Deep Dive http://www.anandtech[...] Anandtech 2015-05-19
[57] URL AMD Ushers in a New Era of PC Gaming including World’s First Graphics Family with Revolutionary HBM Technology https://www.amd.com/[...]
[58] 뉴스 Nvidia announces Tesla P100 Accelerator http://www.anandtech[...] Anandtech 2016-04-05
[59] 웹사이트 NVIDIA Tesla P100: The Most Advanced Data Center GPU Ever Built http://www.nvidia.co[...]
[60] 뉴스 Hot Chips 2016: Memory Vendors Discuss Ideas for Future Memory Tech – DDR5, Cheap HBM & More http://www.anandtech[...] Anandtech 2016-08-23
[61] 뉴스 HBM3: Cheaper, up to 64GB on-package, and terabytes-per-second bandwidth https://arstechnica.[...] Ars Technica 2016-08-23
[62] 웹사이트 NVIDIA Announces Hopper Architecture, the Next Generation of Accelerated Computing https://nvidianews.n[...]
[63] URL 【後藤弘茂のWeekly海外ニュース】TSV技術で積層するGDDR5後継メモリ「HBM」の詳細 - PC Watch https://pc.watch.imp[...]
[64] URL ［E3 2015］AMD，新世代GPU「Radeon R9 Fury」を発表。15cm強の短尺モデルから空冷，液冷，デュアルGPU構成までの4モデル展開に https://www.4gamer.n[...]
[65] URL AMD，次世代Radeonで採用する積層メモリ技術「HBM」を解説。キーワードは「高性能＆低消費電力」 https://www.4gamer.n[...]
[66] 웹사이트 【後藤弘茂のWeekly海外ニュース】 Intelなどプロセッサベンダーがけん引するHBM3規格 https://pc.watch.imp[...] 2018-03-20
[67] 웹사이트 10 Years in the Making: NVIDIA Brings Real-Time Ray Tracing to Gamers with GeForce RTX http://nvidianews.nv[...]
[68] 웹사이트 AMD Radeon RX 5700 XT 50th Anniversary Edition Actually Looks Promising https://www.tomshard[...]
[69] 웹사이트 HBM3需要が急増、2025年までの注文が既に完売 {{!}} TEXAL https://texal.info/h[...] 2023-11-05
[70] URL "AI時代に不可欠の「HBM」。容量も速度も飛躍したが、開発がさらに加速"(PC Watch, 2024年5月15日) https://pc.watch.imp[...]
[71] 간행물 ISSCC 2014 Trends http://isscc.org/doc[...] 2015-02-06
[72] 뉴스 The AMD Radeon R9 Fury X Review http://www.anandtech[...] Anandtech 2015-07-02
[73] 뉴스 Future Nvidia ‘Pascal’ GPUs Pack 3D Memory, Homegrown Interconnect http://www.enterpris[...] EnterpriseTech 2014-03-25
[74] 간행물 HIGH BANDWIDTH MEMORY (HBM) DRAM (JESD235) http://www.jedec.org[...] JEDEC 2013-10
[75] 웹인용 JESD235a: High Bandwidth Memory 2 https://www.jedec.or[...] 2016-01-12
[76] 간행물 HBM: Memory Solution for Bandwidth-Hungry Processors http://www.setphaser[...] 2015-04-24
[77] 뉴스 Where Are DRAM Interfaces Headed? http://www.eetimes.c[...] EETimes 2018-06-15
[78] 간행물 Highlights of the HighBandwidth Memory (HBM) Standard http://www.cs.utah.e[...] 2014-12-13
[79] 뉴스 AMD Dives Deep On High Bandwidth Memory - What Will HBM Bring to AMD? http://www.anandtech[...] Anandtech 2015-05-19

관련 사건 타임라인

( 최근 20개의 뉴스만 표기 됩니다. )


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com